จินตนาการถึงนักวิชาการชั้นนำที่อ่านหนังสือทุกเล่มบนโลก แต่ไม่เคยก้าวเท้าเข้าไปในพื้นที่ซื้อขายหรือโรงพยาบาลเลย แม้ว่าพวกเขาจะมีความสามารถในการตีความอย่างกว้างขวาง แต่กลับขาด ตรรกะเฉพาะด้าน ซึ่งจำเป็นต่อการตัดสินใจที่มีความเสี่ยงสูง นี่คือความท้าทายที่โมเดลภาษาขนาดใหญ่เบื้องต้น (LLMs) ต้องเผชิญ

ทางสู่ความเชี่ยวชาญ

• การเรียนรู้แบบถ่ายทอดและการปรับตัว: เราไม่ได้ทิ้งความเชี่ยวชาญทั่วไปไว้ข้างหลัง แต่เราใช้มันเป็นฐานในการพัฒนาต่อไป ซึ่งการปรับตัวตามด้านเฉพาะนั้นคือการประยุกต์ใช้เฉพาะที่เราจะปรับโครงสร้างพื้นที่เชิงลึกของโมเดลให้สามารถระบุขอบเขตเชิงความหมายใหม่ ๆ ได้
• การฝึกก่อนเพิ่มเติม: แทนที่จะเริ่มต้นจากศูนย์ เราจะทำการเรียนรู้แบบอัตโนมัติเพิ่มเติมบนชุดข้อมูลเฉพาะด้าน (เช่น รายงานของสำนักงานคณะกรรมการกำกับหลักทรัพย์และตลาดหลักทรัพย์) ซึ่งจะทำให้การแจกแจงความน่าจะเป็นภายในโมเดลสำหรับคำศัพท์เปลี่ยนแปลงไป
• การฝึกงานกลางระหว่าง: งานนี้เป็นสะพานที่สอนโมเดลถึง 'ตรรกะ' ของด้านนั้น เช่น การวิเคราะห์ทางการเงิน หรือกฎหมาย ก่อนที่จะปรับแต่งขั้นสุดท้ายเพื่อให้บรรลุเป้าหมายสุดท้าย